Sinh ra tại Poltava trong Đế quốc Nga (hiện nay ở Ukraina), Ben-Zvi là con trai cả của Zvi Shimshelevich, người sau này đã có tên Shimshi. Shimshi là một nhà hoạt động phục quốc Do Thái hàng đầu và một trong những người tổ chức Đại hội phục quốc Do Thái đầu tiên vào năm 1897. Năm 1952, ông được Knesset vinh danh là "quốc phụ của nhà nước". Ben-Zvi là nhà hoạt động trong các đơn vị tự vệ của người Do Thái tổ chức tại Ukraina để bảo vệ người Do Thái trong cuộc tàn sát năm 1905, và tham gia chính đảng phục quốc Do Thái Poale Zion. Ông là một đại diện trong đại hội phục quốc Do Thái năm 1907, và đó là nơi lần đầu ông gặp Israel Shochat. Ben-Zvi di cư Palestine cùng năm đó, và định cư ở Jaffa. "Bar-Giora", tiền thân bí mật của Hashomer, được tạo ra trong căn hộ của mình vào năm 1907. Năm 1909, ông đã tổ chức Gymnasia Rehavia trường trung học trong khu phố Bukharim Jerusalem cùng với Rachel Yanait.